In classic reinforcement learning algorithms, agents make decisions at discrete and fixed time intervals. The physical duration between one decision and the next becomes a critical hyperparameter. When this duration is too short, the agent needs to make many decisions to achieve its goal, aggravating the problem's difficulty. But when this duration is too long, the agent becomes incapable of controlling the system. Physical systems, however, do not need a constant control frequency. For learning agents, it is desirable to operate with low frequency when possible and high frequency when necessary. We propose a framework called Continuous-Time Continuous-Options (CTCO), where the agent chooses options as sub-policies of variable durations. Such options are time-continuous and can interact with the system at any desired frequency providing a smooth change of actions. The empirical analysis shows that our algorithm is competitive w.r.t. other time-abstraction techniques, such as classic option learning and action repetition, and practically overcomes the difficult choice of the decision frequency.

政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。

Softmax政策的政策梯度（PG）估计与子最佳饱和初始化无效，当密度集中在次良动作时发生。从策略初始化或策略已经收敛后发生的环境的突然变化可能会出现次优策略饱和度，并且SoftMax PG估计器需要大量更新以恢复有效的策略。这种严重问题导致高样本低效率和对新情况的适应性差。为缓解此问题，我们提出了一种新的政策梯度估计，用于软MAX策略，该估计在批评中利用批评中的偏差和奖励信号中存在的噪声来逃避策略参数空间的饱和区域。我们对匪徒和古典MDP基准测试任务进行了分析和实验，表明我们的估算变得更加坚固，以便对政策饱和度更加强大。

尽管政策梯度方法的普及日益越来越大，但它们尚未广泛用于样品稀缺应用，例如机器人。通过充分利用可用信息，可以提高样本效率。作为强化学习中的关键部件，奖励功能通常仔细设计以引导代理商。因此，奖励功能通常是已知的，允许访问不仅可以访问标量奖励信号，而且允许奖励梯度。为了从奖励梯度中受益，之前的作品需要了解环境动态，这很难获得。在这项工作中，我们开发\ Textit {奖励政策梯度}估计器，这是一种新的方法，可以在不学习模型的情况下整合奖励梯度。绕过模型动态允许我们的估算器实现更好的偏差差异，这导致更高的样本效率，如经验分析所示。我们的方法还提高了在不同的Mujoco控制任务上的近端策略优化的性能。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

智能仪表测量值虽然对于准确的需求预测至关重要，但仍面临一些缺点，包括消费者的隐私，数据泄露问题，仅举几例。最近的文献探索了联合学习（FL）作为一种有前途的隐私机器学习替代方案，该替代方案可以协作学习模型，而无需将私人原始数据暴露于短期负载预测中。尽管有着美德，但标准FL仍然容易受到棘手的网络威胁，称为拜占庭式攻击，这是由错误和/或恶意客户进行的。因此，为了提高联邦联邦短期负载预测对拜占庭威胁的鲁棒性，我们开发了一个最先进的基于私人安全的FL框架，以确保单个智能电表的数据的隐私，同时保护FL的安全性模型和架构。我们提出的框架利用了通过符号随机梯度下降（SignsGD）算法的梯度量化的想法，在本地模型培训后，客户仅将梯度的“符号”传输到控制中心。当我们通过涉及一组拜占庭攻击模型的基准神经网络的实验突出显示时，我们提出的方法会非常有效地减轻此类威胁，从而优于常规的FED-SGD模型。

随着数据驱动的系统越来越大规模部署，对历史上边缘化的群体的不公平和歧视结果引起了道德问题，这些群体在培训数据中的代表性不足。作为回应，围绕AI的公平和包容性的工作呼吁代表各个人口组的数据集。在本文中，我们对可访问性数据集中的年龄，性别和种族和种族的代表性进行了分析 - 数据集 - 来自拥有的数据集，这些数据集来自拥有的人。残疾和老年人 - 这可能在减轻包含AI注入的应用程序的偏见方面发挥重要作用。我们通过审查190个数据集的公开信息来检查由残疾人来源的数据集中的当前表示状态，我们称这些可访问性数据集为止。我们发现可访问性数据集代表不同的年龄，但具有性别和种族表示差距。此外，我们研究了人口统计学变量的敏感和复杂性质如何使分类变得困难和不一致（例如，性别，种族和种族），标记的来源通常未知。通过反思当前代表残疾数据贡献者的挑战和机会，我们希望我们的努力扩大了更多可能将边缘化社区纳入AI注入系统的可能性。

联合学习（FL）是一种有效的分布式机器学习范式，以隐私的方式采用私人数据集。 FL的主要挑战是，END设备通常具有各种计算和通信功能，其培训数据并非独立且分布相同（非IID）。由于在移动网络中此类设备的通信带宽和不稳定的可用性，因此只能在每个回合中选择最终设备（也称为参与者或客户端的参与者或客户端）。因此，使用有效的参与者选择方案来最大程度地提高FL的性能，包括最终模型的准确性和训练时间，这一点至关重要。在本文中，我们对FL的参与者选择技术进行了评论。首先，我们介绍FL并突出参与者选择期间的主要挑战。然后，我们根据其解决方案来审查现有研究并将其分类。最后，根据我们对该主题领域最新的分析的分析，我们为FL的参与者选择提供了一些未来的指示。

开发旨在增强胎儿监测的创新信息学方法是生殖医学研究的新领域。已经对人工智能（AI）技术进行了几项评论，以改善妊娠结局。他们的限制是专注于特定数据，例如怀孕期间母亲的护理。这项系统的调查旨在探讨人工智能（AI）如何通过超声（US）图像帮助胎儿生长监测。我们使用了八个医学和计算机科学书目数据库，包括PubMed，Embase，Psycinfo，ScienceDirect，IEEE Explore，ACM图书馆，Google Scholar和Web of Science。我们检索了2010年至2021年之间发表的研究。从研究中提取的数据是使用叙述方法合成的。在1269项检索研究中，我们包括了107项与调查中有关该主题的查询的不同研究。我们发现，与3D和4D超声图像（n = 19）相比，2D超声图像更受欢迎（n = 88）。分类是最常用的方法（n = 42），其次是分割（n = 31），与分割（n = 16）集成的分类和其他其他杂项，例如对象检测，回归和增强学习（n = 18）。妊娠结构域中最常见的区域是胎儿头（n = 43），然后是胎儿（n = 31），胎儿心脏（n = 13），胎儿腹部（n = 10），最后是胎儿的面孔（n = 10）。在最近的研究中，深度学习技术主要使用（n = 81），其次是机器学习（n = 16），人工神经网络（n = 7）和增强学习（n = 2）。 AI技术在预测胎儿疾病和鉴定怀孕期间胎儿解剖结构中起着至关重要的作用。需要进行更多的研究来从医生的角度验证这项技术，例如试点研究和有关AI及其在医院环境中的应用的随机对照试验。

添加到输入的最小侵犯扰动已被证明在愚弄深度神经网络方面有效。在本文中，我们介绍了几种创新，使白盒子目标攻击遵循攻击者的目标：欺骗模型将更高的目标类概率分配比任何其他更高的概率，同时停留在距原始距离的指定距离内输入。首先，我们提出了一种新的损失函数，明确地捕获了目标攻击的目标，特别是通过使用所有类的Logits而不是仅仅是一个子集。我们表明，具有这种损失功能的自动PGD比与其他常用损耗功能相比发现更多的对抗示例。其次，我们提出了一种新的攻击方法，它使用进一步发发版本的我们的损失函数捕获错误分类目标和$ l _ {\ infty} $距离限制$ \ epsilon $。这种新的攻击方法在CIFAR10 DataSet上比较成功了1.5--4.2％，而在ImageNet DataSet上比下一个最先进的攻击更成功。我们使用统计测试确认，我们的攻击优于最先进的攻击不同数据集和$ \ epsilon $和不同防御的价值。